深度神经网络(DNN)受到对抗的示例攻击的威胁。对手可以通过将小型精心设计的扰动添加到输入来容易地改变DNN的输出。对手示例检测是基于强大的DNNS服务的基本工作。对手示例显示了人类和DNN在图像识别中的差异。从以人为本的角度来看,图像特征可以分为对人类可易于理解的主导特征,并且对人类来说是不可理解的隐性特征,但是被DNN利用。在本文中,我们揭示了难以察觉的对手实例是隐性特征误导性神经网络的乘积,并且对抗性攻击基本上是一种富集图像中的这些隐性特征的方法。对手实例的难以察觉表明扰动丰富了隐性特征,但几乎影响了主导特征。因此,对抗性实例对滤波偏离隐性特征敏感,而良性示例对这种操作免疫。受到这个想法的启发,我们提出了一种仅称为特征过滤器的标签的侵略性检测方法。功能过滤器利用离散余弦变换到占主导地位的大约单独的隐性功能,并获得默认隐性功能的突变图像。只有在输入和其突变体上进行DNN的预测标签,特征过滤器可以实时检测高精度和少量误报的难以察觉的对抗性示例。
translated by 谷歌翻译
Web搜索是人类获取信息的重要方法,但是对于了解网页内容的机器仍然是一个巨大的挑战。在本文中,我们介绍了对网上结构阅读理解(SRC)的任务。鉴于网页和关于它的问题,任务是从网页找到答案。此任务要求系统不仅要了解文本的语义,还需要了解文本的语义,还需要网页的结构。此外,我们提出了一种新的基于Web的结构阅读理解数据集。 WebSRC由400K问答对组成,从6.4K网页收集。与QA对一起,我们的数据集还提供了相应的HTML源代码,屏幕截图和元数据。 WebSRC中的每个问题都需要对网页的某种结构理解来回答,并且答案是网页或是/否的文本跨度。我们评估我们数据集的各种基线,以显示我们的任务难度。我们还研究了结构信息和视觉功能的有用性。我们的数据集和基线已在HTTPS://x-lance.github.io/websrc/上公开提供。
translated by 谷歌翻译
We address the challenge of recovering an underlying scene geometry and colors from a sparse set of RGBD view observations. In this work, we present a new solution that sequentially generates novel RGBD views along a camera trajectory, and the scene geometry is simply the fusion result of these views. More specifically, we maintain an intermediate surface mesh used for rendering new RGBD views, which subsequently becomes complete by an inpainting network; each rendered RGBD view is later back-projected as a partial surface and is supplemented into the intermediate mesh. The use of intermediate mesh and camera projection helps solve the refractory problem of multi-view inconsistency. We practically implement the RGBD inpainting network as a versatile RGBD diffusion model, which is previously used for 2D generative modeling; we make a modification to its reverse diffusion process to enable our use. We evaluate our approach on the task of 3D scene synthesis from sparse RGBD inputs; extensive experiments on the ScanNet dataset demonstrate the superiority of our approach over existing ones. Project page: https://jblei.site/project-pages/rgbd-diffusion.html
translated by 谷歌翻译
近年来,深度学习已被广​​泛应用于沟通,并取得了显着的绩效提高。大多数现有作品都是基于数据驱动的深度学习,该学习需要大量的通信模型培训数据,以适应新的环境,并为收集数据和重新训练模型提供庞大的计算资源。在本文中,我们将通过利用已知环境的学习经验来大大减少新环境所需的培训数据。因此,我们介绍了很少的学习学习,以使通信模型推广到新环境,这是通过基于注意力的方法实现的。随着注意网络嵌入了基于深度学习的沟通模型中,可以在培训过程中一起学习具有不同功率延迟概况的环境,这称为学习经验。通过利用学习经验,沟通模型只需要很少的飞行员块即可在新环境中表现良好。通过基于深度学习的渠道估计的示例,我们证明了这种新颖的设计方法比为少数拍摄学习设计的现有数据驱动方法的性能更好。
translated by 谷歌翻译
应用于设备的射频指纹〜(RFF)的深度学习(DL)由于其非凡的分类性能而引起了物理层认证的极大关注。传统的DL-RFF技术通过采用最大似然估计〜(MLE)训练,倾向于过度拟合培训数据集中嵌入的通道统计信息。这限制了他们的实际应用,因为收集足够的培训数据来捕获所有可能的无线渠道环境的特征是具有挑战性的。为了应对这一挑战,我们提出了一个DL表示的DL框架学习〜(DRL),该框架首先学会通过对抗学习将输入信号分解为相关的组件和设备 - iRretrelevant组件。然后,它通过在给定的培训数据集中洗牌以训练后续的RFF提取器来综合一组增强信号。所提出的框架中的隐式数据增强在RFF提取器上实施了正则化,以避免在不收集未知通道的其他数据的情况下,可能会过度拟合设备 - IRRELELERVENT的通道统计。实验验证了所提出的方法,称为DR-RFF,就不明复杂的传播环境的普遍性而言,均优于常规方法,例如,即使所有训练数据都在简单的直接线上收集,即使所有训练数据都收集到分散多径褪色通道,即使 - 见面〜(LOS)传播路径。
translated by 谷歌翻译
深度学习网络已在各种应用中表现出高性能,例如图像分类,语音识别和自然语言处理。但是,存在使用对抗攻击所利用的主要漏洞。对抗性攻击通过稍微稍微更改输入图像,使其对肉眼几乎无法检测到图像,但导致网络的分类非常不同。本文探讨了使用两种类型的体系结构:MobileNetV3和Resnet50探讨图像分割DeepLabV3模型上预计的梯度下降(PGD)攻击和自适应面膜分割攻击(ASMA),发现PGD在更改分割方面非常一致它的目标虽然ASMA对多类目标的概括不那么有效。然而,这种攻击的存在使所有图像分类深度学习网络处于剥削的危险之中。
translated by 谷歌翻译
我们提出了一个名为mmrotate的开源工具箱,该工具箱提供了基于深度学习的流行旋转对象检测算法的训练,推断和评估的连贯算法框架。mmrotate实现了18种最先进的算法,并支持三种最常用的角度定义方法。为了促进与旋转对象检测有关的问题的未来研究和工业应用,我们还提供了大量训练有素的模型和详细的基准测试,以深入了解旋转对象检测的性能。mmrotate将于https://github.com/open-mmlab/mmrotate公开发布。
translated by 谷歌翻译
随着交通预测技术的发展,时尚预测模型引起了学术界社区和工业的越来越多。然而,大多数现有的研究侧重于减少模型的预测误差,而是忽略由区域内空间事件的不均匀分布引起的错误。在本文中,我们研究了区域分区问题,即最佳网格尺寸选择问题(OGSS),其目的是通过选择最佳网格尺寸来最小化时空预测模型的真正误差。为了解决OGSS,我们通过最小化其上限来分析时空预测模型的真正误差的上限,并最大限度地减少真实误差。通过深入分析,我们发现当模型网格数量从1增加到最大允许值时,真正误差的上限将减少随后增加。然后,我们提出了两种算法,即三元搜索和迭代方法,自动找到最佳网格尺寸。最后,实验验证了预测误差是否具有与其上限相同的趋势,并且实际误差的上限相对于模型网格数量的上限的变化趋势将降低。同时,在一个情况下,通过选择最佳网格尺寸,可以提高最先进的预测算法的订单调度结果高达13.6%,这表明了我们在调整该区域上的方法的有效性用于时空预测模型的分区。
translated by 谷歌翻译
建筑变更检测是许多重要应用,特别是在军事和危机管理领域。最近用于变化检测的方法已转向深度学习,这取决于其培训数据的质量。因此,大型注释卫星图像数据集的组装对于全球建筑更改监视是必不可少的。现有数据集几乎完全提供近Nadir观看角度。这限制了可以检测到的更改范围。通过提供更大的观察范围,光学卫星的滚动成像模式提出了克服这种限制的机会。因此,本文介绍了S2Looking,一个建筑变革检测数据集,其中包含以各种偏离Nadir角度捕获的大规模侧视卫星图像。 DataSet由5000个批次图像对组成的农村地区,并在全球范围内超过65,920个辅助的变化实例。数据集可用于培训基于深度学习的变更检测算法。它通过提供(1)更大的观察角来扩展现有数据集; (2)大照明差异; (3)额外的农村形象复杂性。为了便于{该数据集的使用,已经建立了基准任务,并且初步测试表明,深度学习算法发现数据集明显比最接近的近Nadir DataSet,Levir-CD +更具挑战性。因此,S2Looking可能会促进现有的建筑变革检测算法的重要进步。 DataSet可在https://github.com/s2looking/使用。
translated by 谷歌翻译
Masked image modeling (MIM) has shown great promise for self-supervised learning (SSL) yet been criticized for learning inefficiency. We believe the insufficient utilization of training signals should be responsible. To alleviate this issue, we introduce a conceptually simple yet learning-efficient MIM training scheme, termed Disjoint Masking with Joint Distillation (DMJD). For disjoint masking (DM), we sequentially sample multiple masked views per image in a mini-batch with the disjoint regulation to raise the usage of tokens for reconstruction in each image while keeping the masking rate of each view. For joint distillation (JD), we adopt a dual branch architecture to respectively predict invisible (masked) and visible (unmasked) tokens with superior learning targets. Rooting in orthogonal perspectives for training efficiency improvement, DM and JD cooperatively accelerate the training convergence yet not sacrificing the model generalization ability. Concretely, DM can train ViT with half of the effective training epochs (3.7 times less time-consuming) to report competitive performance. With JD, our DMJD clearly improves the linear probing classification accuracy over ConvMAE by 5.8%. On fine-grained downstream tasks like semantic segmentation, object detection, etc., our DMJD also presents superior generalization compared with state-of-the-art SSL methods. The code and model will be made public at https://github.com/mx-mark/DMJD.
translated by 谷歌翻译